ViSAR: Training-Free Adaptive-$k$ Retrieval for Visual Document Question Answering
ViSAR:面向视觉文档问答的无训练自适应-k检索
🧭 视觉文档RAG·自适应k检索
INSA Lyon, CNRS, LIRIS UMR 5205 · EPITA Research Laboratory (LRE) · Lowit
在嵌入空间构造查询条件页面级相似度矩阵,动态决定检索页数,降低RAG延迟并保持或提升准确率
📌 工作参考价值(4 点)
- 可借鉴动态 top-k 思想:在电商/广告场景中,为商品详情页、广告落地页或用户评价做 RAG 时,不再固定召回条数,而是根据查询复杂度动态截断,能显著减少输入 LVLM 的 token 数和首字延迟。
- 利用 late-interaction 编码器产生的 page-level 相似度矩阵作为查询语义激活图:该方法无需训练,直接基于 embedding 空间的 MaxSim 等运算,可在现有向量检索链路上快速实现,适合业务侧低成本验证。
- 将相似度矩阵的统计结构(如激活分布、峰值集中度)作为检索质量信号,用于重排或决定是否触发多跳检索/补充上下文,类似于推荐中 uncertainty-aware 的截断策略。
- 论文结果显示自适应检索在多个编码器与 LVLM 组合下最高降低 58.7% 延迟且准确率不降,证明“检索质量感知的上下文裁剪”在视觉富文档问答中有效,对多模态商品理解、店铺资质审核等 RAG 任务有直接迁移价值。